package com.study.feature.extract

import org.apache.spark.ml.feature.{CountVectorizer, CountVectorizerModel}
import org.apache.spark.sql.SparkSession

/**
 * 特征提取-CountVectorizer（计数向量器）
 *
 * CountVectorizer 和 CountVectorizerModel 旨在帮助将文本文档集合转化为频数向量。
 * 当先验词典不可用时，CountVectorizer可以用作Estimator提取词汇表，并生成一个CountVectorizerModel。
 * 该模型会基于该字典为文档生成稀疏矩阵，该稀疏矩阵可以传给其它算法，比如LDA，去做一些处理。
 *
 * @author stephen
 * @date 2019-08-28 10:51
 */
object CountVectorizerDemo {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName(this.getClass.getSimpleName)
      .master("local[*]")
      .getOrCreate()

    spark.sparkContext.setLogLevel("warn")

    val df = spark.createDataFrame(Seq(
      (0, Array("a", "b", "c")),
      (1, Array("a", "b", "b", "c", "a"))
    )).toDF("id", "words")

    // 训练模型
    val cvModel: CountVectorizerModel = new CountVectorizer()
      .setInputCol("words")
      .setOutputCol("features")
      // 设定词汇表的最大size 3
      .setVocabSize(3)
      // 设定词汇表中的词至少要在2个文档中出现过
      .setMinDF(2)
      .fit(df)

    // 另一种方式：通过指定预先字典定义模型
    val cvm = new CountVectorizerModel(Array("a", "b", "c"))
      .setInputCol("words")
      .setOutputCol("features")

    cvModel.transform(df).show(false)
    // (3,[0,1,2],[1.0,1.0,1.0])
    // 3: vocab size
    // [0,1,2]: 0代表“a”，1代表“b”，2代表“c”
    // [1.0,1.0,1.0]: 相应词语在各个文档中出现次数的统计
  }
}
